Suomen kielen suloiset solmut: Miksi erityisesti suomen kieli edellyttää edelleen manuaalista litterointia?
by Sanna
Teksteissä käytetään useampia puheentunnistukseen liittyviä termejä. Voit tarkistaa kunkin termin merkityksen tekstin lopussa olevista termilaatikoista.
Puheentunnistusteknologiaa käyttävät järjestelmät tuottavat hyviäkin tuloksia monilla kielillä, esimerkiksi englannissa.
Suomenkielinen litterointi on kuitenkin poikkeuksellisen haastavaa ja ihmisen tekemää litteraation manuaalista tarkistusta tarvitaan lähes aina. Miksi koneiden on niin vaikea ymmärtää suomea?
Luonnollinen puhe ja haastava kielioppi
Puheentunnistusteknologiaa pyritään jatkuvasti kehittämään myös pienemmille kielille paremmin soveltuvaksi. Suomen kieli asettaa kuitenkin kehittämiselle aivan omanlaisensa haasteet.
Meidän kielemme on ihanan joustavaa ja monimuotoista: sanat vääntyilevät sija- ja taivutusmuodoissaan, ja arkinen puhe vilisee yhdyssanoja ja luovia ilmaisuja.
Kielioppisääntömme ovat täynnä poikkeuksia, ja meillä on käytössä monista muista kielistä poikkeava pilkutustyyli.
Suomi ei kielenä myöskään ole kansainvälisessä tekoälykehityksessä prioriteettilistan kärkipaikoilla, mikä hidastaa meille sopivien tekoälypohjaisten puheentunnistusjärjestelmien ja -sovellusten kehitystä. Toki meillä on loistavaa omaa kansallista kehitystyötä ja yrityksissä tulee varmasti myös syntymään uusia innovaatioita.
Puheentunnistusjärjestelmät pärjäävät parhaiten sellaisen äänitteen kanssa, jossa henkilö puhuu selkeästi. Tällöin myös pisteet ja pilkut sattuvat melko hyvin paikoilleen.
Haastattelut eivät kuitenkaan usein ole kovin muodollisia. Luonnollisempaa puhetta litteroidessa kaivataan aina ihmistä vähintäänkin muokkaamaan ja korjailemaan järjestelmän tuottamaa tulosta.
Litteroinnissa pilkutusta käytetään kielioppisäännöistä poiketen myös selkeyttämään ja rytmittämään puheilmaisua, joka vaatii sisällön ymmärrystä ja tulkintaa.
Murteet
Suomi on täynnä erilaisia murteita, jotka ovat puheentunnistusjärjestelmille kuin vieraita kieliä. Kuten sanontakin kuuluu: kun savolainen puhuu, vastuu on kuulijalla.
Tämä vastuu jää toistaiseksi vain suomea hyvin hallitsevalle ihmiselle. Kehittäjillä ei yksinkertaisesti ole ollut tarpeeksi materiaalia kouluttaa kutakin murretta sujuvasti tulkitsevaa järjestelmää.
Ihmisellä ei mene litteroidessa sormi suuhun tuntemattomankaan ilmauksen edessä. Meillä on kyky toimia salapoliisina ja selvittää, mitä puhuja mahdollisesti tarkoittaa.
Puheentunnistusjärjestelmä voi tunnistaa sille tuntemattoman tai epäselvän sanan joka kerta eri tavalla, mikä johtaa pahimmassa tapauksessa koko sisällön vääristymiseen.
Litteroijana minulla on tällaisesta tilanteesta tuore esimerkki. Litteroin keskustelua, jossa suomenkielisen keskustelun oleellisena sisältönä olivat ulkomaalaiset paikkakunnat.
Yksi tietty paikannimi toistui useita kertoja, mutta puhuja lausui sen joka kerta niin murteellisesti, että en saanut siitä selvää. Myöhemmin, jo haastattelun loppupuolella, toinen keskustelija sanoi jälleen saman paikannimen, tällä kertaa selvemmin.
Tunnistin vihdoin, mistä paikasta on kyse, ja pystyin korjaamaan aiemmat epäselvät kohdat oikeiksi ja sain asiakkaalle litteraation, jossa nimet olivat oikein.
Suomenkielisen puheentunnistuksen kehittyminen
Jos suomenkielisen puheentunnistusteknologian edistyminen kiinnostaa, esimerkiksi Aalto-yliopisto kehittää
suomenkielistä puheentunnistusteknologiaa.
Tämän kehityksen tueksi järjestettiin Lahjoita puhetta -kampanja yhteistyössä Ylen kanssa, jossa kerättiin kattava kieliaineisto erilaista puhetta ympäri Suomea. Tutkimustie toteutti tämän hankkeen litteroinnin - litteroimme tuhansia ääniotteita, joissa oli puhetta, äänteitä ja lukuisia murteita.
Aineistoa on käytetty suomenkielisten puheentunnistussovellusten kehittämisessä. Litteroinnin osalta kehittämisen haasteena on kerätä riittävästi koulutusmateriaalia, joka sisältää sekä puhetta että ihmisten tekemiä litteroituja tekstivastineita.
Toistaiseksi parhaiten toimivat tietyille toimialoille ja tarkoituksiin räätälöidyt ratkaisut, esimerkiksi lääketieteellisten saneluiden automaattinen litterointi.
Vinkkinä! Turun yliopisto puolestaan kehittää suomenkielistä keskustelevaa tekoälyä. Voit auttaa antamalla opetusdataa tekoälyn koulutusta varten keksimällä arkisia kysymyksiä ja vastaamalla niihin tekoälyn tavoin:
Pääset syöttämään kysymyksesi tästä.
Me Tutkimustiellä hyödynnämme parhaita puolia puheentunnistusteknologiasta. Kaikissa työn tuloksissa luotamme asiantuntijatyöhömme ja siksi jokaisen työn tekee meillä ihminen.
Manuaalinen litterointi: Äänitiedoston tai puheen manuaalista muuntamista tekstiksi. Ihminen kuuntelee äänitiedoston ja kirjoittaa sen sanat ylös.
Automaattinen litterointi: Prosessi, jossa tietokoneohjelma muuntaa automaattisesti äänitiedoston tekstiksi. Ihminen ei osallistu litteraation tuottamiseen, vaan litteraatio on tietokoneen tekemä.
Puheentunnistusteknologia: Tietotekniikan alue, joka mahdollistaa ihmisen puheen automaattisen tunnistamisen ja muuntamisen kirjoitetuksi tekstiksi tai toiminnoksi. Teknologia käyttää algoritmeja ja koneoppimismenetelmiä äänisignaalien analysointiin ymmärtääkseen puhuttua kieltä ja muuttaakseen sen digitaaliseen muotoon.
Puheentunnistusjärjestelmä: Laaja teknologinen infrastruktuuri tai alusta, joka sisältää tarvittavat laitteet, ohjelmistot ja algoritmit puheen tunnistamiseen ja prosessointiin. Kun puhutaan litterointiin soveltuvista järjestelmistä, käyttäjille on tarjolla sekä omalle koneelle ladattavia puheentunnistusjärjestelmiä että API-rajapintojen avulla järjestelmiä käyttäviä sovelluksia ja palveluita.
Tekoälypohjainen tai tekoälyä hyödyntävä puheentunnistusjärjestelmä: Puheentunnistusjärjestelmä, johon on integroitu tekoäly. Puheentunnistuksen prosessissa tekoäly erottelee ja analysoi ääntä ja tunnistaa ja tulkitsee luonnollisen kielen ominaisuuksia sekä puheen kontekstia. Tämä prosessi on lähellä ihmisen tekemää ajatustyötä ja parantaa huomattavasti puheentunnistuksen lopputulosta.
Puheentunnistussovellus: Konkreettinen tuote tai palvelu, joka hyödyntää puheentunnistusteknologiaa tiettyyn käyttötarkoitukseen. Sovellukset voivat olla mobiili- tai desktop-ohjelmistoja. Näitä ovat esimerkiksi älypuhelimessa toimiva sovellus, joka muuntaa puheen tekstiviestiksi, tai virtuaaliassistentti, joka suorittaa käyttäjän puhekomentoja. Sovellukset rakennetaan usein hyödyntämällä olemassa olevia puheentunnistusjärjestelmiä tai -alustoja.
Automaattinen litterointi eli puheentunnistusteknologioita hyödyntävä litterointi on ottanut hurjia harppauksia eteenpäin. Suomen kieltä on kuitenkin edelleen vaikea tulkita koneellisesti.
Kerromme tässä tekstissä tiivistetysti, milloin automaattisesta litteraatiosta on hyötyä ja milloin litterointi kannattaa edelleen antaa ihmisten käsiin.
Laadukas litteraatio syntyy onnistuneesta äänityksestä. Tähän ohjeeseen on koottu asioita, jotka on hyvä huomioida haastattelutilanteessa ja siihen valmistautuessa.
Jos haluat lisätietoja haastatteluiden tekemisestä, haastatteluvälineistä tai litteroinnista, kerromme mielellämme lisää.
